A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
更深入地审视 Agentic BBO：面向黑盒优化的 LLM Agent 基准测试
🧭 LLM Agent · 黑盒优化基准测试
State Key Laboratory of Novel Software Technology, Nanjing University · School of Artificial Intelligence, Nanjing University
构建跨领域基准 AgenticBBO-Bench，统一评估 LLM Agent 在黑盒优化中的表现并分析关键设计因素
📌 工作参考价值（4 点）
- 在推荐系统超参数优化（学习率、正则系数、embedding 维度等）或 AutoML 流程中，可让 LLM agent 结合任务语义与历史 trial 结果生成候选配置，再由数值优化器精调，减少早期随机搜索浪费。
- 当黑盒目标包含语义信息（如商品类目、广告文案风格、用户意图）时，将语义先验注入 agent 提示词能稳定提升搜索效率；但避免使用过于具体的先验知识，论文显示具体先验不稳定。
- 线上 A/B 测试或流量有限的调参场景可借鉴 finite-budget 协议：在固定评估次数内对比不同策略，结合 LLM 推理成本选择 Pareto 前沿模型（如 DeepSeek-V4.1-Flash），兼顾性能与成本。
- 设计 agent 系统时不必堆砌额外数值工具，应优先利用任务语义和 agent 生成的优化轨迹；数值优化器可以有效吸收 agent 探索得到的轨迹，二者协同优于单独使用。